AutoIndex: Learning Representation Programs for Retrieval
AutoIndex：学习可执行的文档表示程序以优化检索索引
🧭 Agent驱动的检索索引优化 ★ 深度解读
University of Massachusetts Amherst · Databricks Mosaic Research
将文档索引视为可优化程序，用Agent迭代搜索最佳预处理代码，BM25召回提升8.4%+
📌 工作参考价值（4 点）
- 把文档预处理当成可优化程序：不只调chunk大小，而是用Agent搜索对检索最有益的文本变换（抽取、重加权、去噪），商品详情页可自动提炼标题、属性、卖点来提升搜索召回。
- Agent诊断失败案例驱动优化：借鉴双Agent设计——分析Agent检查哪些查询未能召回目标商品，代码Agent生成对应预处理规则；分离关注点，避免上下文过载。
- 离线指标指导迭代选择：固定BM25，用Recall@100作为优化信号，每次迭代重建索引并验证，自动保留有效改进；工程上可集成到索引构建流水线，定期更新表示策略。
- 对BM25的特化技巧可迁移：通过重复重要字段（如电影情节、演员表）模拟字段加权，过滤特定标记（LaTeX）降低噪声，类似方法可用于处理电商文档中的重复广告语、HTML标签等。